#score centering

2 篇

Baselines and Score Centering in Policy Gradient Estimation

策略梯度估计中的基线项与分数中心化

🧭 RLHF/策略梯度估计·重要性采样

University of Illinois Chicago · Perplexity AI

用 reward 与 importance-weighted score 的协方差替代正则化 IS 策略梯度，厘清 group-mean baseline 与 score centering 的不同作用

📌 工作参考价值（4 点）

在电商/Agent 的 LLM RLHF 后训练中，若用 sequence-level PPO/GRPO 且 ratio 被 clip，直接用 batch 内 mean reward 作为 group-mean baseline 即可，不必再对 importance-weighted score 做额外 centering，降低实现复杂度。
若采用 token-level advantage（细粒度 reward/PPO），当 importance ratio 被 truncation/masking/clipping 时，必须对 importance-weighted score 做 score centering（减去总体均值，可用 moving average 估计），否则策略梯度会带偏置。
建议把梯度写成 Cov(reward, weighted_score) 而非单纯加权 reward；该形式天然对 constant reward shift 稳健，适合离线异步训练中 stale policy 的纠偏。
序列级 IS 下 score centering 无额外收益，token 级 IS 下则是必要修正；实现前先确认 reward/advantage 的粒度再决定是否引入 score centering。

Training | 2026-10-15 | cs.LG | score 7/10

分数中心化稳定离线策略强化学习

🧭 LLM 强化学习训练稳定性校正

Together AI

提出加性 score centering 校正项，抵消训练与推理引擎间的漂移，稳定 LLM 的 RL 训练

📌 工作参考价值（4 点）

在 RL 微调推荐/对话策略时，若部署推理引擎与训练引擎存在量化、KV cache 压缩或异步参数不一致，可在计算优势或回报时减去漂移项（如训练与推理引擎在同样本上的平均输出差异），低成本稳定训练，避免策略崩溃。
Score centering 是加性修正，可与 importance sampling 等乘法修正叠加；在离线策略数据来自旧策略或不同推理引擎时，组合使用可能比单用 IS 更稳健，尤其 mismatch 严重时。
对于生成式推荐（用 LLM 直接生成 item ID/文案），RL 训练中 reward 常由规则或模型给出，容易受采样分布偏移影响；考虑在 reward 或 advantage 上做 centering 来抵消环境漂移，可提升训练稳定性。
工程上：漂移估计可通过在固定验证集上比较训练和推理引擎的 logprob/奖励差异得到，开销很小；可作为 RL 训练 pipeline 的常规监控与校正组件。

Training | 2026-09-17 | cs.LG | score 7/10